Block Cyclic Array

Implementing linear algebra kernels on distributed memory parallel computers raises the problem of data distribution of matrices and vectors among the processors. Block-cyclic distribution seems to suit well for most algorithms. But one has to choose a good compromise for the size of the blocks (to achieve a good eeciency and a good load balancing). This choice heavily depends on each operation, so it is essential to be able to go from one distribution to another very quickly. We present here the algorithms we implemented in the ScaLAPACK library. A complexity study is then made that proves the eeciency of our solution. Timing results on a network of SUN workstations and the Cray T3D using PVM corroborates the results. L'implantation de noyaux d'alg ebre lin eaire sur les machines paral-l eles a m emoire distribu ee pose le probl eme du choix de la distribution des donn ees pour les matrices et les vecteurs sur les dii erents processeurs. Une distribution bloc-cyclique semble convenir pour la plupart des algorithmes, mais un compromis est n ecessaire dans le choix de la taille des blocs (pour avoir a la fois des calculs eecaces et une bonne r epartition de charge). Le choix optimal est dii erent pour chaque algorithme, et il est donc essentiel de pouvoir passer d'une distribution a l'autre tr es rapidement. Nous pr esentons ici les algorithmes de redistribution que nous avons implant es dans la biblioth eque SCALAPACK. Une etude de complexit e vient ensuite prouver l'eecacit e des solutions choisies. Les performances obtenues sur r eseaux de stations et Cray T3D en utilisant PVM corroborent nos r esultats.